Merge,

The attached trivial patch fixes a spurious gcc-4.0 warning in
xen/arch/x86/mm.c when building the current hg tip.  Due to -Werror,
this breaks builds with gcc-4.0.

Signed-off-by: Josh Triplett <josht@us.ibm.com>

gcc-3.4/ia64 compilation fixes.

The ia64 parts of this patch are already in xen-ia64-unstable.

Signed-off-by: Arun Sharma <arun.sharma@intel.com>

1) Make more functions in io.c static
2) Fix memory leak in domain free
3) Fix error path in read (reported by aq)
4) Move reading of buffer limit to tty reconnect so that changes in
limit take affect more quickly.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

Update -xen config file for net grant tables. Default to 'y' since this is the kernel we want to use on the test CD and we want to have grant tables on by default.

Signed-off-by: ian@xensource.com

Manula merge.

Fix typo in Linux header file. Totally harmless -- the code
was never actually compiled in to a XenLinux kernel.

Modify default Linux 2.6 config files to build for PentiumPro instead of Pentium4. No idea how that ended up being the default.

Signed-off-by: ian@xensource.com

Fix automatic toggling of PAE in Linux config files
Signed-off-by: ian@xensource.com

Since we use configs from dist/install/boot in preference to the default configs, update the PAE auto-switcher to work with these too.

Signed-off-by: ian@xensource.com

Don't enable PAE by default just yet.

fix netdriver grant table option back to n by default

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

merge?

Fix migration for SMP guests with 1 vcpu.
Free/setup timer irq on suspend/restore.
Only tested to localhost.  Also add initial code for >1 vcpu guests.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

update x86_64 config files for grant table in netdriver

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Remove USB front/back from 2.4 build, totally.

Update xenstore python bindings for "Implement watching of nodes which don't exist."
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix SMP save/restore for 1 vcpu by adding suspend/resume functions for SMP.
We have to free_irq the irq vectors for the SMP ipi vectors.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix unbind_ipi_from_irq - evtchn_to_irq[evtchn] not irq_to_evtchn[evtchn].
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add prototype for bind_ipi_on_cpu_to_irq.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add prototype for balloon_init_watcher.
Also cleanup balloon_init_watcher whitespace.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Implement watching of nodes which don't exist.
Requires permission check every time event is generated.
Requires generalization of permissions: ask arbitrary number of
parents whether it's OK to tell about node (eg. watching
/dir/subdir/x when /dir is deleted: root permissions will now
determine whether we fire event).
Add test that we don't leak information on whether a file exists
or not.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix typo.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix up non-valgrind case to send stderr to file like valgrind case does.
(Having trouble with signal delivery and valgrind, causing spurious test
timeouts)
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Don't abort on untranslatable errors: EINVAL and print warning
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Fix checkpointing - add save/restore support to the xenbus driver.
- Add xenbus driver suspend/resume functions
- Change xenbus irq to not be shared
- Translate store mfn in suspend record to pfn and back
- Make tools re-introduce the domain to the store
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Better XenLinux page fault debug output for PAE.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fixes.

A few consoled tweaks. It's not worth building by default
right now as it isn;t actually used.

Remove some binary files.

This is the first patch to move the console code out of Xend and into a
separate daemon.  In this patch I've included the daemon and a
front-end.  I've also have the console code removed from Xend locally
but I wanted to clarify a few things first before submitting that.

Here's how it works:

1) Daemon sits on control channel (via xcs) waiting for console messages
2) Buffers all console data received
3) Publishes the location of a tty that can be used for reading in
/console/<domid>/tty
4) Reads a value from the store to determine what the limit of console
data should be (/console/<domid>/limit) to prevent DoS attacks

Using it is quite simple, just run consoled and use the xc_console
program to connect to the console.  It uses syslog for logging.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

This is the first patch to move the console code out of Xend and into a
separate daemon.  In this patch I've included the daemon and a
front-end.  I've also have the console code removed from Xend locally
but I wanted to clarify a few things first before submitting that.

Here's how it works:

1) Daemon sits on control channel (via xcs) waiting for console messages
2) Buffers all console data received
3) Publishes the location of a tty that can be used for reading in
/console/<domid>/tty
4) Reads a value from the store to determine what the limit of console
data should be (/console/<domid>/limit) to prevent DoS attacks

Using it is quite simple, just run consoled and use the xc_console
program to connect to the console.  It uses syslog for logging.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

Manual merge.

Disable build of pygrub for now - does not build with e2fsprogs-1.35

Signed-off-by: Steven Hand <steven@xensource.com>

Fix typo in pygrub code

The attached patch converts the balloon driver and xend to use
xenstore instead of control messages.

Note: Because there is no way to set a watch on a non-existent key,
this patch includes a workaround to account for the fact that dom0's
store keys are not initialized by the tools before it boots.

Signed-off-by: Dan Smith <danms@us.ibm.com>

> to "CONFIG_PAGING_LEVELS >= 3", maybe I forgot to include some
> into the patch ...

Yep, I did, shadow_public.c bits are missing, sorry for trouble.

  Gerd

Missing ia64_stubs file for libxc.

Remainder of ACM patch (hgrrrr).

Signed-off-by: Reiner Sailer <sailer@watson.ibm.com>
Signed-off-by: Steven Hand <steven@xensource.com>

The patches below clean-up sHype-related file names  in the tools subtree
and security policy-versioning and data structures in the xen subtree
(ACM):

 *  the very generic tools directory name "policy"  is changed to
    "security" and the included "policy_tool" to "secpol_tool"

 * the single constant POLICY_INTERFACE_VERSION is replaced
   by ACM_INTERFACE_VERSION; the security policy headers are
   versioned independently since the policy can be supplied
   at boot time instead of through the  hypervisor interface

Signed-off-by: Reiner Sailer <sailer@watson.ibm.com>
Signed-off-by: Steven Hand <steven@xensource.com>

The attached patch adds the support that was only stubbed in to be able
to support having reading the boot loader config when you're using a
whole disk (eg, file:/root/disk.img,xvda,w) as opposed to just a
partition.

This reads the partition table in the MBR to find the active partition
and then passes that offset down into the filesystem reading code.

Signed-off-by: Jeremy Katz <katzj@redhat.com>

* support proper scsi disk name
* xvd now has an official lanana assigned major, use it

Signed-off-by: Jeremy Katz <katzj@redhat.com>

Revert unintended enabling of grant tables for netback/netfront

correct wrong variables pass to the set_pte_at macro.

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Manual merge.

Minor clean ups of time.c and partial build fixes for 2.4

PDB: convert ptrace.c and traps.c changes to local patches

This patch adds two macros for construction of the
frame_and_sectors field in blkif messages, to eliminate the
"magic shifts" in the blkif code.

It also increases the number of bits representing the sector
number within a page, from 3 to 5, to allow page sizes up to
16K (needed for IA64).

Tested to still work on x86.

Signed-off-by: Matthew Chapman <matthewc@hp.com>

While merging my development tree with the latest hg tree I noticed that
VMX support was broken. When you boot an unmodified Linux kernel it gets
stuck in the "Calibrating delay" loop.  The reason for this is that the
vmx code is repeatedly delivering timer interrupts.

Correcting the MILLISECS() and friends macros to return s_time_t instead
of ULL fixes this problem. The other changes are just to get rid of
redundant code and variables.

Signed-Off-By: Leendert van Doorn <leendert@watson.ibm.com>

PDB: roll out changes to ptrace.c and traps.c

dom_mem_ops address_bitsd fix.

x86_32 build fix.

This patch renames balloon command to "set-mem", so instead of "xm
balloon", we will use "xm set-mem" (as suggested by TODO list)

Signed-off-by: Nguyen Anh Quynh <aquynh@gmail.com>

This patch does 2 jobs:

- Enforce the number of CPUs dom0 will take. See the new variable
"dom0-cpus" in xend-config.sxp (you will want to set this variable to
1 on SMP systems)

- Balloon out dom0 memory when creating domU, if there is not enough
free memory. The lowest level we will balloon out is configured via
the new variable "dom0-min-mem" in xend-config.sxp

I still have a doubt: where to put the code to enforce dom0-cpus. At
the moment I put it into
python/xen/xend/server/SrvDaemon.py, and hopefully that is resonable
enough. Any comment?

Signed-off-by: Nguyen Anh Quynh <aquynh@gmail.com>

Patch for 64-bit VMX guest destroy

64-bit VMX guest can't be destroyed without this patch, as guest page's
reference count problem.
This patch made two point of reference count correct:
1. In invlpg, the old page count need put.
2. There is a specail case for fl1's shadow reference count.=20
=20

Signed-off-by: Chengyuan Li <chengyuan.li@intel.com>
Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

Here is our latest patch to enable the Xen tools to
build and work with IA64 Xen.
Signed-off-by: Matt Chapman <matthewc@hp.com>
Acked-by: Dan Magenheimer <dan.magenheimer@hp.com>

Attached patch adds a DMA zone to xen, also modifies xen_contig_memory()
to ask for DMA pages.
Signed-off-by: srparish@us.ibm.com

This patch updates the CPU field in xm list for multi-vcpu domains.
When a dom runs on multiple physical cpus, the CPU field doesn't have
much meaning.  The suggested fix was to replace the value with '-'.
Signed-off-by: Ryan Harper <ryanh@us.ibm.com>

... for dom0 if we know we'll need it.  This is the xen
counterpart to the previous xenlinux patch which adds this
info to the kernel.  Also adds some printk's.

... so it builds again and also add a note to the xen elf header
that this kernel should be booted in shadow-translated mode.

Really just basic preparation: switch over PAE builds to the new
shadow code, drop old dummy functions, add (fewer) new ones.

fix x86_64 domain0 /dev/mem issue
x86_64 miss the define of ARCH_HAS_DEV_MEM, that causes
/drivers/char/mem.c to not show low 1M memory correctly.

Signed-off-by: Xiaofeng Ling <xiaofeng.ling@intel.com>

PDB: add some additional files

PDB: process targets

merge?

Don't unbind port when event channel binding fails.
This happens when xend tries to introduce the same domain twice.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Simplify code by acking watch as soon as we read it.
Since watches no longer block anyone, this doesn't change semantics.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Simplify code by making in and out pointers internal to xenbus_xs.c
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Nicer platform timer string (include clock rate in mhz).
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix irq.c warning, from aq.

Fix gnttab bug in blkfront.
Signed-off-by: Keir Fraser <keir@xensource.com>

Slightly better time debugging support in Xen.

Get rid of internet_copy.jpg once more.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Don't ignore exceptions here - the possible RuntimeError is handled already.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Introduce dom0 to the store.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Handle introduce_domain failing when the domain is already introduced.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Always pass around the store machine frame number instead of the linear address.
Also cleanup IOCTL_PRIVCMD_INITDOMAIN_STORE.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add xc_init_store python binding.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix read of integers from database on event channel restore.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Make XENSTORED_DEBUG create a xenstored trace logfile.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Move SIF_BLK_BE_DOMAIN and SIF_NET_BE_DOMAIN definitions to where they are used.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Don't auto-add domains we don't know about.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add IBM Cyclone support to Xen.
Signed-off-by: Keir Fraser <keir@xensource.com>

Add HPET support to Xen. It is quicker to access and more
precise than the PIT.
Signed-off-by: Keir Fraser <keir@xensource.com>

On opt_nosmp, also force num_cores to 1. Do this in setup.c
instead of cpu/common.c. This is where opt_nosmp is defined,
and it reduces diff of cpu/ subdir against native Linux.
Signed-off-by: Keir Fraser <keir@xensource.com>

Kill a bad assertion.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Merge.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Make sure that opt_nosmp also disables hyperthreading.  This stops us
from trying to create domains on non-existent threads, which would
lead to a rather nasty crash.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Rename file with space in name.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>
--HG--
rename : tools/sv/images/internet copy.jpg => tools/sv/images/internet_copy.jpg

Fix memory reservation in XenLinux.
Signed-off-by: Keir Fraser <keir@xensource.com>

Frob the Linux-2.6 configs to enable PAE (HIGHMEM_64G) if XEN_TARGET_X86_PAE=y

Signed-off-by: ian@xensource.com

merge?

Clean up xenbus code not to use priorities.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix case where watch callback unregisters itself: do not try to ack it
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Implement xenbus_dev_error() and xenbus_dev_ok() functions
for better error reporting using the store.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Scrub initial xenstore page, free xendev structure.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix locking: probe can be called from several places, so ensure
we lock for it.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix bus watch code, and clean up a little.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>